1.版本说明本文档内容基于flink-1.15.x，其他版本的整理，请查看本人博客的flink专栏其他文章。2.介绍FlinkSQL有一组丰富的本地数据类型可供用户使用。数据类型描述表生态系统中值的逻辑类型，它可用于声明操作的输入和/或输出类型。Flink的数据类型类似于SQL标准的数据类型，但也包含了关于值是否为空的信息，以便有效地处理标量表达式。数据类型的例子有:INTINTNOTNULLINTERVALDAYTOSECOND(3)ROW,myOtherFieldTIMESTAMP(3)>所有预定义的数据类型在下面列出。2.1.TableAPI中的数据类型java/scala：基于JVM的
Flink实现同时消费多个kafkatopic，并输出到多个topic1.说明2.依赖引用3.方案一：适用于==sinktopic==存在跨集群等kafka生产者配置信息不相同的情况3.1配置文件3.2java代码3.3运行图（ps:为了更好的展示循环中包含算子，将sink算子并行度设为了1，发生了rebalance）4.方案二：适用于输入及输出topic都用属于一个集群的场景4.1配置文件同上4.2Java代码5.业务使用场景：1.说明1）代码使用的flink版本为1.16.1，旧版本的依赖及api可能不同，同时使用了hutool的JSON工具类，两者均可自行更换；2）本次编写的两个方案，均
一.引言ProcessFunction原始执行状态为每个key注册一个较长时间TimeTimer并在这期间将所有对应key的数据都收集起来，到期完成触发。现在接到新的需求，要求判断数据类型，当特殊标识的数据到达后，需要将TimeTimer到期的时间提前。因此需要删掉当前key之前注册的老的TimeTimer，下面铺下自己踩坑的完整过程。二.情景复现1.数据源为了测试数据，我们自定义数据流，其中SourceInfo为CaseClass，包含了key、sendTime与isRealTime三个字段，前两个常规字段，ProcessFunction会根据先到的SourceInfo获取其SendTime
目录Apache Flink架构介绍一、Flink组件栈二、Flink运行时架构Apache Flink架构介绍一、Flink组件栈在Flink的整个
总览： importorg.apache.flink.streaming.api.scala._importorg.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimportorg.apache.flink.table.api.EnvironmentSettingsimportorg.apache.flink.table.api.bridge.scala.{StreamTableEnvironment,tableConversions}objectsqlQueryTable{ defmain(args:Array[St
一.组件[与html的不同]官方文档：组件1.视图组件1.1view解释：它类似于传统html中的div，用于包裹各种元素内容代码：参数：hover-class:(指定按下去的样式类)hover-stop-propagation:(指定是否阻止本节点的祖先节点出现点击态，即阻止冒泡)hover-start-time:(按住后多久出现点击态，单位毫秒)更多视图：1.scroll-view：可实现横向或纵向滑动2.swiper：轮播图3.match-media：不同尺寸展示4.movable-area、movable-view和movable-view：实现拖动移动效果5.cover-view和c
1.版本说明本文档内容基于flink-1.13.x，其他版本的整理，请查看本人博客的flink专栏其他文章。2.Checkpoint2.1.概述Checkpoint使Flink的状态具有良好的容错性，通过checkpoint机制，Flink可以对作业的状态和计算位置进行恢复。参考Checkpointing查看如何在Flink程序中开启和配置checkpoint。2.2.Checkpoint存储当开启checkpointing时，管理的状态会被持久化以保证在任务失败时进行一致性恢复，checkpointing期间的状态持久化位置取决于选择的checkpoint存储。2.3.可用的Checkpoi
Flink部署之Yarn一、环境准备1、Flink是一个分布式的流处理框架，所以实际应用一般都需要搭建集群环境。需要准备3台Linux机器。具体要求如下：系统环境为CentOS7.5版本。安装Java8。安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。三台服务器的具体设置如下：节点服务器1，IP地址为192.168.88.102，主机名为hadoop102。节点服务器2，IP地址为192.168.88.103，主机名为hadoop103。节点服务器3，IP地址为192.168.88.104，主机名为hadoop10
本博客总结为B站尚硅谷大数据Flink2.0调优，Flink性能优化视频中常见故障排除的的笔记总结。1.非法配置异常如果看到从TaskExecutorProcessUtils或JobManagerProcessUtils抛出的IllegalConfigurationException，通常表明存在无效的配置值（例如负内存大小、大于1的分数等）或配置冲突。请重新配置内存参数。2.Java堆空间异常如果报OutOfMemoryError:Javaheapspace异常，通常表示JVMHeap太小。可以通过增加总内存来增加JVM堆大小。也可以直接为TaskManager增加任务堆内存或为JobMan
环境window10flink-1.16.1-bin-scala_2.12下载下载链接：https://archive.apache.org/dist/flink/flink-1.16.1/安装1.10版本以后，安装包\bin中不含flink.bat和start-cluster.bat启动文件，需要我们新建或复制1.9版本的文件。flink.bat::###############################################################################::LicensedtotheApacheSoftwareFoundation(ASF)
